home *** CD-ROM | disk | FTP | other *** search
/ Usenet 1993 July / InfoMagic USENET CD-ROM July 1993.ISO / sources / misc / volume9 / scanlog.pl < prev    next >
Encoding:
Text File  |  1989-12-12  |  8.0 KB  |  314 lines
  1. Newsgroups: comp.sources.misc
  2. organization: Multihouse NV, the Netherlands
  3. subject: v09i059: analysis of Bnews logfile
  4. from: allbery@uunet.UU.NET (Brandon S. Allbery - comp.sources.misc)
  5. Reply-To: jv@mh.nl (Johan Vromans)
  6.  
  7. Posting-number: Volume 9, Issue 59
  8. Submitted-by: jv@mh.nl (Johan Vromans)
  9. Archive-name: scanlog.pl
  10.  
  11. The following perl program reads a Bnews logfile, and produces reports.
  12.  
  13. #---------------------------------- cut here ----------------------------------
  14. #!/bin/sh
  15. # This is a shell archive.  Remove anything before this line,
  16. # then unpack it by saving it in a file and typing "sh file".
  17. #
  18. # Wrapped by Johan Vromans <jv@mhres> on Sun Dec 10 14:53:47 1989
  19. #
  20. # This archive contains:
  21. #    scanlog.pl    
  22. #
  23. # Error checking via wc(1) will be performed.
  24.  
  25. LANG=""; export LANG
  26.  
  27. echo x - scanlog.pl
  28. sed 's/^@//' >scanlog.pl <<'@EOF'
  29. #!/usr/bin/perl -s
  30.  
  31. # This program requires perl version 3.0, patchlevel 4 or higher
  32.  
  33. # @(#)@ scanlog    1.2 - scanlog.pl
  34.  
  35. # This program scans a BNews logfile (default "/usr/lob/news/log"),
  36. # and produces statistics.
  37. #
  38. # It is able to generate three different reports.  The reports are
  39. # written to standard output. Unrecognized log entries are written to
  40. # standard error, together with their line numbers in the logfile. These
  41. # entries usually need manual inspection, or may be used to enhance the
  42. # program logic.
  43. # 
  44. # These are the reports:
  45. # 
  46. #  1. Report of articles received, posted, ... for each host
  47. # 
  48. #     For each news host, the following messages are tallied and
  49. #     reported:
  50. #       Recv'd: # of articles received
  51. #       Posted: # of articles posted
  52. #       Xmit'd: # of articles sent to other hosts
  53. #       Ctrl:   # of control messages
  54. #       Cancel: # of cancel messages
  55. #       Junked: # of articles moved to junk
  56. #       Dupl:   # of duplicate, hence rejected, articles
  57. # 
  58. #     Report format:
  59. # 
  60. #       News logfile report from Dec  3 05:21 to Dec 10 04:27
  61. # 
  62. #       Host     Recv'd  Posted  Xmit'd    Ctrl  Cancel  Junked    Dupl
  63. #       ------- ------- ------- ------- ------- ------- ------- -------
  64. #       hp4nl     11653       0    1140      37      30      48       9
  65. #       local         0      18      11       0       0       0       0
  66. #       ------- ------- ------- ------- ------- ------- ------- -------
  67. #       Total     11653      18    1151      37      30      48       9
  68. # 
  69. #  2. Report of non-local newsgroups referenced
  70. # 
  71. #     For each newsgroup which was not localized, the references are
  72. #     tallied and reported:
  73. # 
  74. #       Unrecognized newsgroups from Dec  3 05:21 to Dec 10 04:27
  75. # 
  76. #       Newsgroup                   Refs
  77. #       --------------------------- ----
  78. #       tue.humour                     1
  79. #       philnet.general                1
  80. # 
  81. #  3. Report of new newsgroups created
  82. # 
  83. #     For each newsgroup is indicated if the group was created (i.e.
  84. #     via a newgroup message), and if the spool area was created (i.e.
  85. #     upon receipt of the first article).
  86. # 
  87. #       Newsgroups created from Dec  3 05:21 to Dec 10 04:27
  88. # 
  89. #       Newsgroup          created: group dir
  90. #       --------------------------- ----- ---
  91. #       alt.prose.d                         +
  92. #       alt.recovery                    +   +
  93. # 
  94. # Usage:
  95. # 
  96. #     scanlog [ options ] [ logfile ]
  97. # 
  98. #       options:
  99. #         -report     generate standard report
  100. #         -foreign    generate report of unknown groups
  101. #         -new        generate report of new groups
  102. #        default is all reports.
  103. # 
  104. #       logfile       name of the logfile to use
  105. #        default is "/usr/lib/news/log"
  106. # 
  107. # Copyright 1989 Johan Vromans
  108. # Declared public domain in the hope it may be useful to others as
  109. # well.
  110.  
  111. # run-time options
  112. #
  113. $do_report = defined $report;
  114. $do_foreign = defined $foreign;
  115. $do_new = defined $new;
  116.  
  117. # default values
  118. $do_report = $do_new = $do_foreign = 1 
  119.   unless ($do_report | $do_foreign | $do_new);
  120.  
  121. # default logfile
  122. @@ARGV = ("/usr/lib/news/log") if $#ARGV < 0;
  123.  
  124. $firstdate = $lastdate = "";
  125.  
  126. # process logfile
  127. while ( $line = <> ) {
  128.  
  129.   chop ($line);
  130.   @a = split (/\t/, $line);
  131.   if ( $#a >= 2 ) {        # need three fields
  132.     $lastdate = $a[0];
  133.     $firstdate = $lastdate unless $firstdate;
  134.     $host = $a[1];
  135.     $used{$host}++;
  136.  
  137.     $msg = join(" ",@a[2..$#a]);    # join, in case the message was split
  138.  
  139.     # Analysis of messages
  140.     if ( $msg =~ /^received / ) {
  141.       $received{$host}++;
  142.     }
  143.     elsif ( $msg =~ /^Duplicate / ) {
  144.       $duplicate{$host}++;
  145.     }
  146.     elsif ( $msg =~ /^Cancelling / ) {
  147.       $cancelled{$host}++;
  148.     }
  149.     elsif ( $msg =~ /^Ctl Msg / ) {
  150.       $ctrl{$host}++;
  151.       if ( $' =~ /^(\S+) .*: newgroup / ) {
  152.         $created{$1} = "+";
  153.         $brandnew{$1} = "";
  154.       }
  155.     }
  156.     elsif ( $msg =~ /^linecount expected / ) {
  157.       # ignore
  158.     }
  159.     elsif ( $msg =~ /^No valid newsgroups / ) {
  160.       $junked{$host}++;
  161.     }
  162.     elsif ( $msg =~ /^posted / ) {
  163.       $posted{$host}++;
  164.     }
  165.     elsif ( $msg =~ / newsgroup (\S+) not localized$/ ) {
  166.       $foreign{$1}++;
  167.     }
  168.     elsif ( $msg =~ / sent to / ) {
  169.       $xmit{$host}++;
  170.     }
  171.  
  172.     # Misc
  173.     elsif ( $msg =~ /^make newsgroup (\S+) in dir / ) {
  174.       $brandnew{$1} = "+";
  175.     }
  176.  
  177.     # These entries are ignored
  178.     elsif ( $msg =~ /^Expired article / ) {
  179.     }
  180.     elsif ( $msg =~ /^Can't cancel .* non-existent$/ ) {
  181.     }
  182.  
  183.     # Notify
  184.     else {
  185.       print STDERR "? $. $line\n";
  186.     }
  187.   }
  188.   else {
  189.     printf STDERR "? $. $line\n";
  190.   }
  191. }
  192.  
  193. format std_hdr =
  194. News logfile report from @<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  195. "$firstdate to $lastdate"
  196.  
  197. Host     Recv'd  Posted  Xmit'd    Ctrl  Cancel  Junked    Dupl
  198. @.
  199. format std_out =
  200. @@<<<<<< @>>>>>> @>>>>>> @>>>>>> @>>>>>> @>>>>>> @>>>>>> @>>>>>>
  201. $host, $received, $posted, $xmit, $ctrl, $cancelled, $junked, $duplicate
  202. @.
  203.  
  204. if ( $do_report ) {
  205.  
  206.   $^ = "std_hdr";
  207.   $~ = "std_out";
  208.  
  209.   $host = $received = $posted = $ctrl = $cancelled = 
  210.     $duplicate = $xmit = $junked = "--------";
  211.   write;
  212.  
  213.   $Treceived = $Tposted = $Tduplicate = $Txmit = 
  214.     $Tcancelled = $Tctrl = $Tjunked = 0;
  215.   foreach $host ( sort (keys (%used))) {
  216.     $Treceived += ($received = $received{$host});
  217.     $Tposted += ($posted = $posted{$host});
  218.     $Tduplicate += ($duplicate = $duplicate{$host});
  219.     $Tcancelled += ($cancelled = $cancelled{$host});
  220.     $Tctrl += ($ctrl = $ctrl{$host});
  221.     $Txmit += ($xmit = $xmit{$host});
  222.     $Tjunked += ($junked = $junked{$host});
  223.     write;
  224.   }
  225.  
  226.   $host = $received = $posted = $ctrl = $cancelled = 
  227.     $duplicate = $xmit = $junked = "--------";
  228.   write;
  229.  
  230.   $host = "Total";
  231.   $received = $Treceived;
  232.   $posted = $Tposted;
  233.   $duplicate = $Tduplicate;
  234.   $xmit = $Txmit;
  235.   $junked = $Tjunked;
  236.   $ctrl = $Tctrl;
  237.   $cancelled = $Tcancelled;
  238.   write;
  239. }
  240.  
  241. format for_hdr =
  242. Unrecognized newsgroups from @<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  243. "$firstdate to $lastdate"
  244.  
  245. Newsgroup                      Refs
  246. ---------------------------- ------
  247. @.
  248. format for_out =
  249. @@<<<<<<<<<<<<<<<<<<<<<<<<<<< @>>>>>
  250. $group, $refs
  251. @.
  252.  
  253. if ( $do_foreign) {
  254.  
  255.   $^ = "for_hdr";
  256.   $~ = "for_out";
  257.   $- = 0;
  258.  
  259.   @foreign = sort (keys (%foreign));
  260.   if ( $#foreign >= 0 ) {
  261.  
  262.     foreach $group ( @foreign ) {
  263.       $refs = $foreign{$group};
  264.       write;
  265.     }
  266.   }
  267. }
  268.  
  269. format new_hdr =
  270. Newsgroups created from @<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  271. "$firstdate to $lastdate"
  272.  
  273. Newsgroup           Created: group dir
  274. ---------------------------- ----- ---
  275. @.
  276. format new_out =
  277. @@<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<  @   @
  278. $group, $cr, $dir
  279. @.
  280.  
  281. if ( $do_new ) {
  282.  
  283.   $^ = "new_hdr";
  284.   $~ = "new_out";
  285.   $- = 0;
  286.  
  287.   @brandnew = sort (keys (%brandnew));
  288.   if ( $#brandnew >= 0 ) {
  289.  
  290.     foreach $group ( @brandnew ) {
  291.  
  292.       $dir = $brandnew{$group};
  293.       $cr = $created{$group};
  294.       write;
  295.     }
  296.   }
  297. }
  298. @EOF
  299. set `wc -lwc <scanlog.pl`
  300. if test $1$2$3 != 26910176847
  301. then
  302.     echo ERROR: wc results of scanlog.pl are $* should be 269 1017 6847
  303. fi
  304.  
  305. chmod 444 scanlog.pl
  306.  
  307. exit 0
  308. -- 
  309. Johan Vromans                       jv@mh.nl via internet backbones
  310. Multihouse Automatisering bv               uucp: ..!{uunet,hp4nl}!mh.nl!jv
  311. Doesburgweg 7, 2803 PL Gouda, The Netherlands  phone/fax: +31 1820 62944/62500
  312. ------------------------ "Arms are made for hugging" -------------------------
  313.  
  314.